星环大数据云平台TDC——新一代大数据产品形态

在5月3日举办的用户大会上，星环科技揭开了新一代智能大数据云平台Transwarp Data Cloud（简称TDC）的面纱。这是星环首次结合大数据平台Transwarp Data Hub、云操作系统Transwarp Operating System、人工智能平台Transwarp Sophon分别在大数据、容器云平台和人工智能领域的技术累积，所研发出的具有开创性的大数据云平台产品，它将为企业提供高效的基础技术平台，实现自动化的数据生态构建，赋能创新性业务发展，促进数据和应用的生态建设，加快商业的数据化转型。

TDC是星环在数据时代的前行下，对于大数据产品传统形态的大胆改革和突破。

TDC的产品架构

TDC的架构由底至上分为四层：原生平台层、服务管理框架、服务应用层、控制平台。

原生云平台：TDC底层是星环原生云操作系统Transwarp Operating System（TOS），结合Kubernetes和Docker技术为云上的大数据应用部署、资源管理提供全方位的支持。

服务管理框架：提供包括安全保护、多租户管理、微服务管理、计费系统等服务在内的云平台基础架构。

服务应用层：包含TDH和Sophon中的所有产品组件，以云产品形式提供大数据处理和AI服务。

控制平台：最上面是基于Web的统一管理入口，是让租户与用户快速部署大数据产品的可视化平台，提供了项目管理和权限设置的接口。

三种服务支撑框架

同时TDC还实现了数据AI模型工厂、数据资产服务、数据服务治理这三种高级数据服务支撑框架，服务于企业数据生态建设，帮助加速数据业务创新。

AI模型工厂：对数据分析的模型化处理，将AI模型直接部署为API服务从而提供在线调用。目前通过这种方式提供机器学习服务已逐渐成为一种趋势，让用户自主进行模型训练和预测，可以更方便的创造和共享模型，使机器学习和人工智能平民化、普惠化。

数据资产管理：提供目前市场上稀缺的具有应用价值的数据资产管理功能，并采用机器学习算法自动分析数据，提供数据表管理，帮助企业对内部的海量数据进行归一化、资产化，使数据资产管理不再受限于手工的管理方式，为价值创造提供先决条件。

服务治理：提供客户应用上架和管理服务，让用户在同一个平台完成应用开发、测试、部署的完整应用开发过程，从而利用数据资产创造价值，同时进一步促进构建新的数据资产。

开箱即用的大数据产品

TDC在服务应用层内置与大数据和人工智能相关的共七种产品，覆盖数据处理与分析所有常见场景。这些云产品由星环大数据生态中的基础组件构成，开箱即用，提供完全自动化的构建、部署、安装。

数据仓库：一站式数据仓库服务，提供数据整合、加工、分析等全套数仓构建服务，帮助企业成功打造数据核心。

深度学习：人工智能开发平台，使用户从无到有进行模型训练和预测，实现AI应用的开发，对各类数据进行高度智能化的处理。

实时处理：云上的流处理分析平台，对流数据进行实时采集和处理，构建实时数据仓库和实时应用，高效的挖掘流式数据价值。

数据集市：面向部门级的数据分析业务，提供包括交互式分析、OLAP Cube引擎、报表工具和调度工具，支持自动化的报表应用构建。

搜索引擎：对PB级别数据提供高速全文检索服务，支持高并发，冷热数据隔离，以及字段精确、模糊检索和快速统计功能。

关系数据库：构建企业关系型数据库，处理OLTP业务。支持复杂SQL查询，提供高稳定、可扩展、强一致保证。

数据分析：提供丰富的数据挖掘功能，内置60余种分布式机器学习算法和行业模型，实现数据到信息的转换。

多租户管控

TDC管理平台围绕项目、租户、用户等概念，实现权限和资源的合理划分与管理，由统一管理平台对多租户提供服务。

TDC通过容器技术实现了多租户间的应用隔离、数据隔离、资源隔离、运行隔离，即使在同一平台上，彼此之间也完全透明，像运行在不同的基础架构。

精确计费

TDC构建了精准的计费架构，保证计费数据的准确性、安全性。同时该架构具有高可用、可扩展的性质，能够做到近实时的数据计算。

TDC平台为用户制定了合理透明的计费标准，分为硬件资源、大数据软件、数据服务、第三方应用四种费用类型进行计费。同时灵活支持多种计费单位，实现公平的计费模式。

图形化运维

为了在租户内部和平台实现统一的日志综合运维管理，TDC在租户平台部署了日志管理组件Milano和指标监控系统Prometheus为系统提供智能化运维服务，实现以下六种功能：

1. 健康状态检查

2. 日志分析和检索

3. 硬件资源监控

4. 服务监控

5. 事件告警

6. 可视化状况分析

多样的数据业务解决方案

TDC能够以公有云、私有云、混合云和数据服务云的形式为不同体量、不同业务类型、不同运作模式的企业提供针对性的服务，满足企业对大数据云平台的多种需求。

企业私有大数据云

TDC可以以私有云的形式部署在大型企业内部，实现定制化的数据云平台。用TDC构建大数据私有云平台有助于集中数据资源和计算资源，打通企业内跨部门跨区域的数据，完成数据整合以及数据模型的统一构建，满足各个业务部门和分支机构对数据分析服务的需求，提高企业的数据处理效率，更好的服务于业务创新。

行业大数据云

TDC还能够以公有云的形式提供计算资源、数据、模型、开发环境和应用，服务于行业内其他的企业和组织。业内其他各机构和组织可以以租户的身份租赁数据和资源服务，自主快速的构建应用，产品可立即创建立即销毁，按需付费。TDC将保证租户间完全隔离，数据和资源安全可控。

混合云 

同时，TDC也可以用于混合云的构架，对于特定的需要对外提供服务的私有云企业，TDC支持接入公有云IaaS服务从而在业务高峰期提供良好的弹性扩展、精确计费等能力，提高企业的服务响应能力。

数据服务云

拥有丰富数据资源的企业可以利用TDC构建数据服务云，提供包括公共数据、报告、公共模型在内的服务，为合作伙伴提供数据探索和分析服务。企业合作伙伴可以以租户的方式租赁该企业的数据和资源服务，按需计费。

迎合大数据时代发展

作为大数据技术产品化发展的领导者，星环科技在数据与业务云端化的浪潮下，借助在大数据技术上已经积累的经验优势，积极拓展更广阔的技术领域，并促进多方面技术的融合。Transwarp Data Cloud诞生于大数据、人工智能、云计算三者共同蓬勃发展的时代背景下，它将作为这三个领域相互融合的代表性产品，重新定义普通企业处理、应用、开发数据的方式，改变大数据产品的使用和未来演进形态。

点击或回复关键词，查看相关内容

公司

产品

技术

白话大数据 | 白话大数据合集

深入机器学习 | 深入机器学习系列合集

案例

视频监控 | Hadoop在实时视频监控的应用场景